Schmelzer telah dilahirkan di Magdeburg, Saxony-Anhalt. Beliau memulakan kerjaya profesionalnya bersama Borussia Dortmund dan membuat debut pada 9 Ogos 2008 pada perlawanan DFB Pokal menentang Rot-Weiss Essen. Beliau membuat debut Bundesliga seminggu kemudain, apabila beliau bermain 20 minit terakhir ketika menang 3-2 ke atas Bayer Leverkusen. Schmelzer telah meneruskan musim yang baik bersama Borussia Dotmund pada musim 2010-11, di mana beliau bermain setiap minit pada musim untuk menjuarai Bundesliga pada tahun tersebut.

Pada musim berikutnya, Schmelzer banyak terlepas perlawanan akibat kecederaan dan meraikan kemenangan gelaran trofi Bundesliga. Beliau juga bermain pada perlawanan akhri DFB-Pokal menewaskan Bayern Munich, 5-2 yang membuatkan 3 gelaran trofi dalam masa 2 tahun.

Pada 11 Januari 2013, Schmelzer melanjutkan kontraknya bersama Borussia sehingga tahun 2017.